Improving average ranking precision in user searches for biomedical research datasets

Availability of research datasets is keystone for health and life science study reproducibility and scientific progress. Due to the heterogeneity and complexity of these data, a main challenge to be overcome by research data management systems is to provide users with the best answers for their search queries. In the context of the 2016 bioCADDIE Dataset Retrieval Challenge, we investigate a novel ranking pipeline to improve the search of datasets used in biomedical experiments. Our system comprises a query expansion model based on word embeddings, a similarity measure algorithm that takes into consideration the relevance of the query terms, and a dataset categorisation method that boosts the rank of datasets matching query constraints. The system was evaluated using a corpus with 800k datasets and 21 annotated user queries. Our system provides competitive results when compared to the other challenge participants. In the official run, it achieved the highest infAP among the participants, being +22.3% higher than the median infAP of the participant's best submissions. Overall, it is ranked at top 2 if an aggregated metric using the best official measures per participant is considered. The query expansion method showed positive impact on the system's performance increasing our baseline up to +5.0% and +3.4% for the infAP and infNDCG metrics, respectively. Our similarity measure algorithm seems to be robust, in particular compared to Divergence From Randomness framework, having smaller performance variations under different training conditions. Finally, the result categorization did not have significant impact on the system's performance. We believe that our solution could be used to enhance biomedical dataset management systems. In particular, the use of data driven query expansion methods could be an alternative to the complexity of biomedical terminologies

Multilingual RECIST classification of radiology reports using supervised learning.

OBJECTIVES The objective of this study is the exploration of Artificial Intelligence and Natural Language Processing techniques to support the automatic assignment of the four Response Evaluation Criteria in Solid Tumors (RECIST) scales based on radiology reports. We also aim at evaluating how languages and institutional specificities of Swiss teaching hospitals are likely to affect the quality of the classification in French and German languages. METHODS In our approach, 7 machine learning methods were evaluated to establish a strong baseline. Then, robust models were built, fine-tuned according to the language (French and German), and compared with the expert annotation. RESULTS The best strategies yield average F1-scores of 90% and 86% respectively for the 2-classes (Progressive/Non-progressive) and the 4-classes (Progressive Disease, Stable Disease, Partial Response, Complete Response) RECIST classification tasks. CONCLUSIONS These results are competitive with the manual labeling as measured by Matthew's correlation coefficient and Cohen's Kappa (79% and 76%). On this basis, we confirm the capacity of specific models to generalize on new unseen data and we assess the impact of using Pre-trained Language Models (PLMs) on the accuracy of the classifiers

The SIB Swiss Institute of Bioinformatics' resources: focus on curated databases

The SIB Swiss Institute of Bioinformatics (www.isb-sib.ch) provides world-class bioinformatics databases, software tools, services and training to the international life science community in academia and industry. These solutions allow life scientists to turn the exponentially growing amount of data into knowledge. Here, we provide an overview of SIB's resources and competence areas, with a strong focus on curated databases and SIB's most popular and widely used resources. In particular, SIB's Bioinformatics resource portal ExPASy features over 150 resources, including UniProtKB/Swiss-Prot, ENZYME, PROSITE, neXtProt, STRING, UniCarbKB, SugarBindDB, SwissRegulon, EPD, arrayMap, Bgee, SWISS-MODEL Repository, OMA, OrthoDB and other databases, which are briefly described in this article

Assistance à la curation de publications scientifiques par des méthodes de triage et d’annotation automatiques

La littérature est une gigantesque base de connaissances, non structurées, dans laquelle sont stockées les contributions sans cesse plus nombreuses de la communauté scientifique. Par l’intermédiaire de curateurs, les publications scientifiques sont annotées, contrôlées et les entités identifiées sont mises en relation avec d’autres sources de connaissances. Les curateurs ont aussi pour objectif de rendre l’ensemble des informations (trouvées ou créées) accessible et réutilisable pour la communauté, d’où la conception de bases de données spécifiques (telles que neXtProt). Cette thèse étudie différentes stratégies en recherche d’information et en fouille de données textuelles (amélioration du triage de documents via MEDLINE, reconnaissance d’entités, extraction d’information, etc.) afin d’automatiser et de simplifier le processus global de curation. Le produit final de cette recherche, neXtA5, est un système optimisé pour chaque étape du processus et intégré dans la routine de ses utilisateurs afin de répondre à leurs attentes en terme d’utilisabilité (efficacité, efficience, satisfaction)

Assistance à la curation de publications scientifiques par des méthodes de triage et d’annotation automatiques

La revue de la littérature constitue une étape fondamentale de la recherche scientifique. En effet, l’exploration de méthodes et des résultats existants, dans un domaine particulier, répond à plusieurs objectifs. Entre autres, elle permet d’identifier les informations pertinentes à la réalisation d’un projet ou encore de mettre ses idées et conclusions en perspective avec les réalisations d’autres experts. Or, cette littérature est une gigantesque base de connaissances, non structurées, dans laquelle sont stockées les contributions sans cesse plus nombreuses de la communauté scientifique. Dans ce contexte, le rôle des curateurs consiste à traiter la littérature au fur et à mesure de sa production et à assurer la fiabilité de l’information proposée. Par leur intermédiaire, les publications scientifiques sont annotées, contrôlées et les entités identifiées sont mises en relation avec d’autres sources de connaissances. Les curateurs ont aussi pour objectif de rendre l’ensemble des informations (trouvées ou créées) accessible et réutilisable pour la communauté, d’où la conception de bases de données spécifiques. neXtProt est l’une de ces ressources, conçue et maintenue par le groupe CALIPHO de l’Institut Suisse de Bioinformatique dans le but de contribuer à la compréhension des protéines humaines. Pour faire face à l’augmentation spectaculaire de la quantité d’information produite par la recherche, tout en maintenant le standard de qualité de l’information proposée dans cette base, les curateurs de neXtProt ont décidé de mettre en oeuvre des méthodes d’automatisation du processus de curation en collaboration avec le groupe SIB Text-Mining. In fine, neXtA5 est une plateforme de support à la curation de la littérature résultant de cette collaboration

Accueillir des publics LGBTIQ + dans les bibliothèques de Suisse romande: retours d’expérience des professionnel·le·x·s et des premier·ère·x·s concerné·e·x·s

Cette recherche explore les pratiques d’inclusion des publics LGBTIQ+ des bibliothèques romandes. Elle repose sur un double constat. Tout d’abord, la persistance des discriminations subies par la population LGBTIQ+ en Suisse. Ensuite, l’absence de réflexion sur cette question au sein des associations professionnelles. Ce second point s’explique probablement par la conviction que l’absence de politique discriminatoire explicite exonère la profession de tout reproche. De ce constat découle la première difficulté de ce travail: rendre visible un impensé et, dépasser les méthodes de recherche ordinairement usitées afin de rendre compte de manière novatrice d’un problème social encore trop souvent invisibilisé. L’étude de la littérature académique et des productions professionnelles témoigne des réflexions en cours sur la fonction sociale des bibliothèques en général et les questions que pose l’inclusion de certains publics en particulier. La discussion autour du concept d’inclusion implique ici un renversement de perspective et invite les bibliothèques à s’adapter aux publics en travaillant à ses côtés plutôt qu’à sa place. Concrètement, quatre points d’attention ont été identifiés: les collections, la médiation, l’accueil et la gouvernance. Pour chacun de ces points, il s’agit d’identifier les bonnes pratiques, existantes ou potentielles, et de mesurer leur adéquation avec les attentes des publics concernés. Pour ce faire, 6entretiens avec des bibliothécaire.x.s ont été menés, tandis que 6 personnes s’identifiant comme LGBTIQ+ et fréquentant les bibliothèques ont accepté d’approfondir leur position lors d’un entretien. Ces entretiens ont été complétés par 3 entretiens avec des spécialistes des questions d’inclusion dans les bibliothèques, ainsi que 2 entretiens avec des spécialistes des questions LGBTIQ+. Enfin, un sondage a permis de recueillir le point de vue de 93 personnes s’identifiant comme LGBTIQ+ usager·ère·x·s des bibliothèques. Cette approche, qui vise à confronter les pratiques institutionnelles et professionnelles aux points de vue des publics s’inspire directement des méthodologies féministes du stand point développées en sciences sociales. De fait, l’analyse de nos données révèlent que, si des mesures d’inclusion ont parfois été mises en place dans les bibliothèques romandes, ces pratiques demeurent marginales et sont le fait d’initiatives isolées de bibliothécaires. L’inclusion des publics LGBTIQ+ ne semble presque jamais être une politique portée par les autorités de tutelle ou par les directions. Les bibliothécaires interrogé.e.x.s font également part d’un déficit d’outils et de formations dans ce domaine. Le public concerné exprime sa frustration face à des institutions essentiellement hétérocisnormées. Si les personnes interrogées ne sont pas unanimes quant aux solutions à apporter, elles identifient souvent les mêmes problèmes. Afin de remédier aux sévères lacunes en matière d’inclusion que cette recherche a permis d’identifier, on peut formuler des recommandations de trois ordres. Tout d’abord, agir sur le positionnement des bibliothèques. Puis, agir en tant que porte-parole au sein de la profession afin de rendre visible ces thématiques. Enfin, favoriser un accueil inclusif sur son lieu de travail

The SIB Swiss institute of bioinformatics’ resources ::focus on curated databases

The SIB Swiss Institute of Bioinformatics (www. isb-sib.ch) provides world-class bioinformatics databases, software tools, services and training to the international life science community in academia and industry. These solutions allow life scientists to turn the exponentially growing amount of data into knowledge. Here, we provide an overview of SIB’s resources and competence areas, with a strong focus on curated databases and SIB’s most popular and widely used resources. In particular, SIB’s Bioinformatics resource portal ExPASy features over 150 resources, including UniProtKB/Swiss-Prot, ENZYME, PROSITE, neXtProt, STRING, UniCarbKB, SugarBindDB, SwissRegulon, EPD, arrayMap, Bgee, SWISS-MODEL Repository, OMA, OrthoDB and other databases, which are briefly described in this article

BiTeM at CLEF eHealth Evaluation Lab 2016 Task 2 ::Multilingual Information Extraction

BiTeM/SIB Text Mining (http://bitem.hesge.ch/) is a University re-search group carrying over activities in semantic and text analytics applied to health and life sciences. This paper reports on the participation of our team at the CLEF eHealth 2016 evaluation lab. The processing applied to each evaluation corpus (QUAREO and CépiDC) was originally very similar. Our method is based on an Au-tomatic Text Categorization (ATC) system. First, the system is set with a specific input ontology (French UMLS), and ATC assigns a rank list of related concepts to each document received in input. Then, a second module relocates all of the positive matches in the text, and normalizes the extracted entities. For the CépiDC corpus, the system was loaded with the Swiss ICD-10 GM thesaurus. However a late minute data transformation issue forced us to implement an ad hoc solution based on simple pat-tern matching to comply with the constraints of the CépiDC challenge. We obtained an average precision of 62% on the QUAREO entity extraction (over MEDLINE/EMEA texts, and exact/inexact), 48% on normalizing this entities, and 59% on the CépiDC subtask. Enhancing the recall by expanding the coverage of the terminologies could be an interesting approach to improve this system at moderate labour costs

Designing retrieval models to contrast precision-driven ad hoc search vs. recall-driven treatment extraction in precision medicine

The TREC 2019 Precision Medicine Track repeats the general structure and evaluation of the 2018 track. Our team participated in both tasks of the track, relative to scientific abstracts and clinical trials. 40 topics where patient data are given (demographic data, disease, gene and genetic variant) were available for this competition. The aim was to retrieve scientific abstracts and clinical trials of interest regarding a topic, modelling the description of a clinical case. In the first task, we aim at retrieving scientific abstracts introducing some relevant treatments for a given case. Our system is first based on the collection of a large set of abstracts related to a particular case using various strategies such as search with keywords within abstracts, search with normalized entities within annotated abstracts and the linear combination of various queries. We then apply different strategies to re-rank the resulting scientific abstracts set. In particular, we tested two strategies to re-rank the abstracts set in order to have a large variety of treatments returned in the top articles. Almost two thirds of the top-10 returned documents are judged relevant, while nearly a quarter of the relevant treatments is returned in the top-10 abstracts. The second task aims at retrieving some clinical trials for which patients are eligible. Criteria used to determine the eligibility of patients are those found in the topics. Information such as trial location or status of clinical trials, which are important from a patient's point of view, are questionably not used in these topics. Several strategies have been tested, relaxing of constraints (data required or not), expansion of information requests thanks to synonyms or regex, and retrieval status value boosting for some criteria or fields. After judging, for almost half of the topics, a minimum of 50% of the documents retrieved are relevant, up to 90% for 10 of the 38 topics provided. Almost two thirds of the top-10 returned documents are judged relevant, while nearly a quarter of the relevant treatments is returned in the top-10 abstracts. Our best runs achieve highly competitive results depending on the measures, with on average being ranked #2 or #3 according to the official results for the literature task